更多记忆更差？抗持久化记忆设计抑制 LLM Agent 错误复现
🧭 LLM Agent 记忆与自改进机制 ★ 深度解读
Indiana University · Tencent HY
提出 Anti-Persistence 记忆：只存轨迹和结果，抽象按需合成并丢弃，抑制错误复现，提升成功率并降低成本
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的记忆设计中，优先持久化原始交互轨迹和结果日志，而非规则、总结或技能等抽象内容；抽象只在当前任务中按需合成，使用后立即丢弃，防止错误抽象跨任务固化。
- 可借鉴其自适应模式选择：定义多种经验使用模式（直接复用轨迹、模仿成功行为、提炼任务策略、生成纠错规则），用轻量 contextual bandit 结合任务相似度、时间衰减和 UCB 探索项来选，比固定策略更鲁棒。
- 奖励信号中加入成本惩罚 r = clip(y - λκ, -1, 1)，λ 设小值（如 0.05）能鼓励选择性合成，在保持成功率的同时控制 LLM 调用量，适合线上成本敏感场景。
- 注意“错误复现”路径：即使删除错误抽象，其影响仍可能通过被影响的轨迹进入后续合成；评估记忆系统时应追踪历史暴露来源，而非只做简单剪枝或屏蔽。
从延迟单侧反馈中学习个性化记忆门控
🧭 Agent 长期记忆 · 个性化门控
Salesforce AI Research · University of California, Los Angeles · University of Illinois at Urbana-Champaign · University of Illinois Chicago
将 Agent 记忆门控建模为延迟单侧反馈的 contextual apple tasting，提出 Warm-Start UCB 实现用户级个性化选择
📌 工作参考价值（4 点）
- 在电商客服/导购 Agent 的记忆系统中，不要使用全局统一的重要性阈值；可以按用户做个性化门控，用“该 fact 后续是否被检索并用于回复”作为弱标签，低成本构造训练数据。
- 把记忆写入决策当作 contextual bandit 问题处理：只有保存下来的 fact 才能观察到后续复用信号（单边反馈），且复用有延迟；可采用 Warm-Start UCB 的思路，先用离线数据初始化策略，再对当前用户在线微调，比纯离线或纯在线更稳。
- 工程实现上，设置合理的延迟窗口：理论显示延迟窗口在 O(√T) 内时 regret 有上界，延迟过长时应截断或异步更新，避免在线学习退化。
- 业务可复用结论：用户对 fact 的复用模式差异大，个性化门控在 memory budget 小、history 长时优势更明显，适合需要长期用户记忆的电商推荐/客服场景。
记忆感知路由：会话级LLM助手的记忆构造与模型选择协同框架
🧭 Agent 会话记忆与路由协同优化 ★ 深度解读
Southern University of Science and Technology · City University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Harbin Institute of Technology (Shenzhen)
通过共享会话状态协调记忆暴露与模型选择，在长历史交互中实现质量-成本平衡
📌 工作参考价值（4 点）
- 在电商客服/导购 Agent 中，将记忆构造与模型路由解耦会导致强模型被错误上下文拖累，建议引入轻量级控制器（QTM）输出结构化会话状态，同时指导召回/上下文组装和模型选择，降低过期信息与干扰。
- 使用 LinUCB 在线学习路由策略，以 turn-level rubric 评分减生成成本作为奖励，冷启动即可用，无需重训底层 LLM，适合线上多模型池的动态成本控制。
- 区分「记忆访问」与「记忆暴露」：维护大记忆池但只给生成模型打包决策相关证据，并通过预算感知 pack 适配不同模型的上下文窗口，能有效避免 context overflow 和多余 distractors。
- 借鉴 QTM 的 schema 字段（action/query_type/phase/retrieval_scope/top_k_hint/lens_recommendation），避免把原始 topic 标签直接喂给路由器，有助于跨任务泛化和可解释性。
RATED：基于执行动态的可靠性感知 AI Agent 工具检索
🧭 Agent 工具检索 · 在线可靠性适应 ★ 深度解读
Texas Tech University
融合对比微调双塔检索与 discounted LinUCB 在线重排，将工具故障选择率从 86% 降至 3%
📌 工作参考价值（4 点）
- 解耦语义与可靠性：用冻结的语义检索器（DRAGON）产出 top-K 候选，再做轻量在线重排，避免每次工具故障都重训大模型；电商 Agent 中大量 API/下游服务频繁上下线，这种架构能快速响应。
- discounted LinUCB per tool：为每个工具维护独立线性模型，用折扣因子 γ=0.95 下权旧反馈，快速适应工具失效；协方差矩阵保持对角，更新和推理都是 O(d)，单步开销 <0.2ms，适合高并发在线服务。
- 冷启动先验：从工具目录元数据（名称-描述一致性、来源可信度、文档质量）自动计算静态可靠性分数，初始化 bandit bias，新工具上线无历史数据也能合理排序；电商工具库也可用类似信号（如 API 文档完整度、供应商信誉）做初始质量分。
- 融合权重默认值：语义 0.75、bandit 0.15、静态先验 0.10 在 20% 故障率下效果最佳，可直接作为业务调参起点。
COBRA-Skills：上下文赌博机引导的智能体技能优化
🧭 Agent 技能优化 · Contextual Bandit ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Tianjin University · The Hong Kong University of Science and Technology (Guangzhou) · National University of Singapore
用语义 embedding + 神经预测器 + LinearUCB 选择性评估候选技能，结合证据驱动的进化算子，在六个基准上平均提升 13–27 个点且成本降 55%+
📌 工作参考价值（4 点）
- 在 prompt / skill / workflow 优化场景中，用语义 embedding + 轻量神经预测器 + LinearUCB 对候选策略打分，每轮只执行最高 UCB 分数的候选，可大幅降低真实评估成本；适合线上 A/B 或仿真评估昂贵的场景。
- 进化算子可迁移到业务策略迭代：regeneration 从无策略轨迹产生多样性新解，rollout mutation 用当前策略的成败轨迹做局部修订，crossover 用强策略做 backbone、弱策略做负例重组；可用于 query 生成策略、Agent 工具调用策略、广告文案生成的自动优化。
- 定期（对数间隔）更新候选 population 而非每轮更新，且只保留高 UCB 候选、淘汰低优先级候选，能显著减少 LLM 调用次数；仅用 50 个优化样本即可达到强效果，说明小样本 + 有效探索可替代大规模优化池，适合业务中少量标注或仿真轨迹的快速迭代。
- 技能跨模型迁移性强（34/36 正向），说明优化出的技能捕获任务级策略而非绑定特定模型；业务中可为多个模型复用同一套优化好的技能或 prompt 库。
可恢复性感知的 Rollout 干预学习
🧭 LLM Agent 后训练 · 可恢复性感知的 rollout 干预 ★ 深度解读
University of Notre Dame · Amazon
将 rollout 干预建模为在线 bandit，从 reward contrast 增益学习在何处、如何分支，提供更强的训练信号并节省算力
📌 工作参考价值（4 点）
- 用 reward contrast 增益代替固定启发式作为干预信号：在对话推荐或商品搜索 Agent 训练中，不用固定的熵或成功率来分配分支预算，而是预测一次额外 rollout 能带来的 reward 方差增益（recoverability），并将其作为在线 bandit 的反馈，学习动态分支策略。
- Shadow-to-Live 双阶段部署：先用高熵 anchor 检测 + 迭代分支收集 (state, action, gain) 轨迹，训练一个轻量控制器；在线训练时用 utility gate 过滤低增益分支，并用 recency‑weighted 滑动窗口持续更新控制器。这种「先暖场再上场」的范式可直接迁移到线上 Agent 训练系统。
- 结构化干预空间：不要只调 rollout 数量，同时联合选择 branch budget 和 decoding 温度（exploit / explore），让控制器学到「增加采样数」和「增加采样多样性」的组合策略，在稀疏奖励的交互推荐场景中尤其有效。
- 在训练流程中实现算力与效果的 Pareto 改善：实验表明 RAIL 用不到半数的 rollout 即可超越 GRPO‑32，在成本敏感的线上推荐 Agent 训练中，可以用更少的交互获得更好的策略，显著降低环境交互开销。
记忆作为受控过程：LLM Agent 的习得式自适应记忆管理
🧭 Agent 自适应记忆控制 · Contextual Bandit ★ 深度解读
University of California Los Angeles · University of Washington · Northwestern University
将 Agent 记忆访问建模为 MDP，用在线 contextual bandit 学习自适应策略，零额外 LLM 调用且后端无关
📌 工作参考价值（4 点）
- 轻量级记忆控制器：可将 Agent 检索深度、是否注入过往成功策略、何时遗忘陈旧信息的决策，接管为一个表格式上下文 Bandit，在线学习 Q 表，收敛只需几十个任务，无需额外 LLM 推理，适合电商对话 Agent、智能客服等对延迟和成本敏感的场景。
- 后端解耦：记忆控制策略与底层存储（向量库、图记忆、潜 Token 记忆等）分离，现有系统只需暴露检索/存储接口即可无缝装配，便于在推荐商品问答、多轮导购等场景中，渐进式将固定 retriever 升级为自适应 retriever。
- 令牌节省机制：通过抑制无效检索、复用成功计划模板，MEMCON 实现 5–20% 的 token 消耗下降同时提升成功率，对计费严格的 LLM 应用有直接成本收益。
- 状态设计思路：在电商推荐 Agent 中，可按“目标商品类别”“步骤阶段”“是否卡壳”“记忆库规模”等构建紧凑状态，配合少量离散动作空间，即可部署类似 UCB 策略，让 Agent 学会何时更多检索历史对话、何时直接复用成功推荐链路。
多智能体LLM的探索失败与显式探索框架MACE
🧭 多智体协作中显式探索方法 ★ 深度解读
University of Wisconsin–Madison · University of California, Santa Barbara
发现LLM agent在多智能体环境中普遍探索不足，提出MACE通过上下文赌博机显式引导探索，显著提升协作质量
📌 工作参考价值（4 点）
- 在多智能体协作场景（如多agent推荐、多agent竞价）中，LLM原生缺乏有效探索，容易过早锁定次优agent。可借鉴MACE的LinUCB框架，将agent选择建模为上下文赌博机，通过显式不确定性奖励驱动探索，避免in-context selection的过早收敛。
- 特征工程上，可设计关系特征：agent响应与当前答案的差异（信息增益潜力）、agent之间的差异性、历史准确率、交互轮次。这些特征能编码协作的结构化信息，比单纯的计数或成功率更有效。
- 在线学习时，使用LinUCB维持设计矩阵A和奖励向量b，利用公式(4)选择agent，实时更新(5)。该方法轻量，无需复杂协调协议，适合工程化。
- 理论表明，agent能力异质性越大，探索收益越高。当agent池存在显著能力差异（如不同模型、不同专家）时，应加大探索系数。对于能力相近的agent，探索价值有限，可适当降低探索。